TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents
TRACE：通过冻结参考模型估计步骤信用实现长程 Agent 的稠密奖励
🧭 Agent 强化学习中的步骤级信用分配 ★ 深度解读
University of Wisconsin–Madison · Microsoft Research
用冻结参考模型的金标答案对数概率变化作为工具调用步骤的即时信用信号，无需 Critic 或过程标签，显著提升长程 Agent RL 训练效率与效果
📌 工作参考价值（4 点）
- 冻结参考模型作为价值探针：无需训练额外 Critic 或 PRM，直接用初始化策略作为固定的前缀状态评分器，可稳定地为多轮工具调用提供稠密奖励，适合电商对话 Agent、搜索 Agent 等需要长程交互的场景。
- Log-ratio 状态值设计：通过计算金标答案对数概率的相对间隙闭合度（而非绝对变化），解决了不同置信度下概率变动尺度不一致的问题，能更准确地衡量中间步骤的进展，该方法可直接用于推荐或广告 Agent 中关键决策步骤的信用评估。
- K-step TD 备份传播延迟信用：支持将后续观察到的答案可预测性提升追溯到更早的搜索或文档打开动作，这对网页搜索、商品筛选等多步决策链条非常有益，避免只奖励最后一步而忽视前序关键操作。
- 与结果奖励的混合优化：将 TD 信用作为辅助信号与 GRPO 的结果优势相加，保持最终正确答案作为训练锚点，既缓解稀疏奖励，又防止局部进度信号主导优化方向，这种架构可复现于搜索推荐等需平衡即时反馈与最终目标的场景。